home *** CD-ROM | disk | FTP | other *** search
/ SGI MineSet 2.0.1 / SGI MineSet 2.0.1.iso / docs6.3 / relnotes / MineSet / ch4.z / ch4
Text File  |  1998-01-06  |  19KB  |  529 lines
  1.  
  2.  
  3.  
  4.                                   - 1 -
  5.  
  6.  
  7.  
  8.        4.  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s
  9.  
  10.        4.1  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__i_n__M_i_n_e_S_e_t__2_._0_._1
  11.  
  12.        4.1.1  _G_e_n_e_r_a_l__C_h_a_n_g_e_s
  13.  
  14.           +o The Associations Rule Generator now accepts input from
  15.             flat files as well as databases.  The Tool Manager
  16.             interface for Associations has been changed to support
  17.             this and to simplify the process of working with
  18.             Associations.  Use of "assoccvt" for the creation of
  19.             "assoc" binary files now occurs automatically and
  20.             invisibly, thus the buttons for creation and selection
  21.             of these binary files have been removed.  N.B. If you
  22.             wish to run the Rule Visualizer without running
  23.             Associations, you can do so using the Tool Manager's
  24.             "Visual Tools" menu.
  25.  
  26.           +o Client speed for reading MineSet binary files is
  27.             considerably faster than in version 2.0.
  28.  
  29.           +o MineSet 2.0.1 complies with the X/Open guidelines for
  30.             dates past the year 2000.  Previous versions of MineSet
  31.             had already used 4 digit year fields for ascii output,
  32.             and an internal date/time format which handles dates
  33.             well beyond 2000. The only change from previous
  34.             versions is that when MineSet reads from externally
  35.             prepared ascii files in which dates have 2 digit year
  36.             format, year fields are interpreted with 00-68 being
  37.             2000-20068 and 69-99 being 1969-1999.
  38.  
  39.        4.2  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__i_n__M_i_n_e_S_e_t__2_._0
  40.  
  41.        4.2.1  _G_e_n_e_r_a_l__C_h_a_n_g_e_s
  42.  
  43.           +o All the visual tools except for the Rule Visualizer and
  44.             Evidence Visualizer support multiple selection,
  45.             allowing selection of multiple objects in the scene.
  46.             The data associated with all selected objects may be
  47.             viewed by choosing _S_e_l_e_c_t_i_o_n_s/_S_h_o_w _V_a_l_u_e_s from the
  48.             tool's menu.  For most visual tools, multiple selection
  49.             is accomplished using Shift-Left mouse click.  (In the
  50.             Splat Visualizer it is accomplished by drawing a box
  51.             around the selections.)
  52.  
  53.           +o All the visual tools except for the Rule Visualizer
  54.             support "Drill Through".  This allows you to select one
  55.             or more objects, and send a request to the Tool Manager
  56.             to fetch the original data.  There are two options.
  57.             _S_e_l_e_c_t_i_o_n_s/_S_h_o_w _O_r_i_g_i_n_a_l _D_a_t_a tells Tool Manager to
  58.             bring up a table of the original data that resulted in
  59.  
  60.  
  61.  
  62.  
  63.  
  64.  
  65.  
  66.  
  67.  
  68.  
  69.  
  70.                                   - 2 -
  71.  
  72.  
  73.  
  74.             the selections, while _S_e_l_e_c_t_i_o_n_s/_S_e_n_d _t_o _T_o_o_l _M_a_n_a_g_e_r
  75.             tells the Tool Manager to insert a filter operation,
  76.             allowing the user to launch other visualizations or
  77.             mining tools on the selected data.
  78.  
  79.           +o A new tool, the Splat Visualizer (splatviz), aggregates
  80.             large amounts of data, and displays it using
  81.             transparent graphical objects (splats).  Using this
  82.             tool one can interactively view data which has very
  83.             many records.
  84.  
  85.           +o A Statistics Visualizer displays basic statistics of
  86.             the data, including mean, standard deviation,
  87.             quartiles, number of values, and histograms.  The
  88.             Statistics Visualizer is built into the Tool Manager.
  89.  
  90.           +o A Record Viewer replaces the Text Editor for viewing
  91.             MineSet data files.  This displays the data in tabular
  92.             form.
  93.  
  94.           +o MineSet data files now default to a more compact,
  95.             faster-to-read binary format.  The ASCII format is
  96.             still supported and may be specified via the Tool
  97.             Manager _P_r_e_f_e_r_e_n_c_e_s panel.
  98.  
  99.           +o The visual tools can save and print images of
  100.             themselves.  (However, in Release 2.0/2.0.1, due to a
  101.             limitation in the implementation, this functionality is
  102.             only available when displaying on a Silicon Graphics
  103.             workstation.  See the _K_n_o_w_n _P_r_o_b_l_e_m_s _a_n_d _W_o_r_k_a_r_o_u_n_d_s
  104.             section for more details.)
  105.  
  106.           +o The visual tools' Animation Panel has three new buttons
  107.             below the VCR-line buttons which control the play mode:
  108.             Play-Once, Loop, and Swing.  In the default Play-Once
  109.             mode, the animation follows the drawn path from
  110.             beginning to end (or end to beginning, for Play
  111.             Reverse) and stops.  In Loop mode, the animation
  112.             follows the drawn path from beginning to end (or end to
  113.             beginning), then seamlessly and indefinitely repeats.
  114.             In Swing mode, the animation follows the drawn path
  115.             from beginning to end, then backward from the end to
  116.             the beginning, then again from beginning to end, ad
  117.             infinitum.
  118.  
  119.           +o All configuration files now include a version number
  120.             "MineSet 2.0" as the first line.
  121.  
  122.           +o A symbolic link was added so that /_u_s_r/_l_i_b/_m_i_n_e_s_e_t can
  123.             be used in place of /usr/lib/MineSet.
  124.  
  125.  
  126.  
  127.  
  128.  
  129.  
  130.  
  131.  
  132.  
  133.  
  134.  
  135.  
  136.                                   - 3 -
  137.  
  138.  
  139.  
  140.           +o Several of the images have been moved from
  141.             _M_i_n_e_S_e_t__c_o_m_m_o_n to _M_i_n_e_S_e_t.
  142.  
  143.           +o The utilities mineset2sas and sas2mineset have been
  144.             added for converting files between MineSet and SAS
  145.             format.
  146.  
  147.           +o Setting the environment variable MINESET_WARN_EXECUTE
  148.             will have the same effect as launching all visual tools
  149.             with the -warnexecute option, and will cause the visual
  150.             tools to issue a warning before executing a user
  151.             specified command.
  152.  
  153.           +o A -quiet option has been added to the visual tools.  If
  154.             this option is specified, the tools will not pop up
  155.             dialogs when they are busy.  This can be turned on
  156.             permanently by adding the line
  157.                 *minesetQuiet:TRUE
  158.             to your .Xdefaults file.
  159.  
  160.        4.2.2  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__T_r_e_e__V_i_s_u_a_l_i_z_e_r
  161.  
  162.           +o Because Shift Left mouse is now used for multiple
  163.             selection, you must use the Control key to indicate
  164.             that a zoom is not to take place.
  165.  
  166.           +o When a bar is selected, the zooming will take place to
  167.             view the complete base on which the bar rests rather
  168.             than only the individual bar.  Clicking on any bar on a
  169.             give base will zoom to the same location as clicking on
  170.             the base itself.
  171.  
  172.           +o The Filter Panel now contains filtering criteria
  173.             similar to the Search Panel, but it filters out the
  174.             nodes that don't match rather than highlighting those
  175.             that do.
  176.  
  177.           +o In the Main window, clicking Mouse button 3 can bring
  178.             up a menu to select the children of a node.  If you
  179.             click on a node with children, it will give you a list
  180.             of the children of that node.  If you do not click on a
  181.             node, but a node is selected, it will give you a list
  182.             of children of the selected node.  If nothing is
  183.             selected, or if the selected node has no children, no
  184.             menu will be displayed.
  185.  
  186.           +o New external Control buttons have been added to move to
  187.             the sibling to the left or right of the current
  188.             selection, to move to the first or last child of the
  189.             current selection, or to provide a list of children of
  190.             the current selection.  These have also been added to
  191.  
  192.  
  193.  
  194.  
  195.  
  196.  
  197.  
  198.  
  199.  
  200.  
  201.  
  202.                                   - 4 -
  203.  
  204.  
  205.  
  206.             the Go menu except for the list of children.
  207.  
  208.           +o The distinction between scale and max has been
  209.             eliminated in the configuration file.  Scale is now the
  210.             recommended option, and can be used wherever max was
  211.             previously required.  For compatibility, max can also
  212.             be used wherever scale can be used.
  213.  
  214.           +o The execute statement can now be specified via the tool
  215.             options in the Tool Manager.
  216.  
  217.           +o The Search Panel now has a _S_e_l_e_c_t button which will
  218.             select everything that matched the previous search.
  219.  
  220.        4.2.3  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__S_c_a_t_t_e_r__V_i_s_u_a_l_i_z_e_r
  221.  
  222.           +o The Scatter Visualizer now supports an execute
  223.             statement similar to the Tree and Map Visualizers.
  224.             This can be specified in the Tool Manager or edited
  225.             directly into the configuration file.
  226.  
  227.           +o The Filter Panel has been moved from the Filter menu to
  228.             the View Menu.  _S_e_t _L_a_n_d_s_c_a_p_e _t_o _F_i_l_t_e_r has been
  229.             renamed _S_c_a_l_e _t_o _f_i_l_t_e_r, moved into the Filter Panel,
  230.             and defaults to on.
  231.  
  232.           +o For users familiar with Inventor, it is possible to
  233.             turn on the Inventor menu by setting the X resource
  234.                 *minesetInventorMenu:True
  235.             to your .Xdefaults file.
  236.  
  237.           +o Spin animation can be enabled or disabled by setting
  238.             the X resource
  239.                 Scatterviz*SoXtExaminerViewer.spinAnimation: on/off
  240.             to your .Xdefaults file.
  241.  
  242.        4.2.4  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__M_a_p__V_i_s_u_a_l_i_z_e_r
  243.  
  244.           +o The execute statement, the "map outlines" geo hierarchy
  245.             file, and the "color normalize" statement can now be
  246.             specified via the tool options in the Tool Manager.
  247.  
  248.           +o The _V_i_e_w menu now supports a Filter Panel.
  249.  
  250.           +o The _S_e_l_e_c_t_i_o_n_s menu supports the customary options seen
  251.             in the other tools (_S_h_o_w _V_a_l_u_e_s, _S_h_o_w _O_r_i_g_i_n_a_l _D_a_t_a,
  252.             _S_e_n_d _T_o _T_o_o_l _M_a_n_a_g_e_r, and _C_o_m_p_l_e_m_e_n_t_a_r_y _D_r_i_l_l _T_h_r_o_u_g_h),
  253.             and in addition supports _S_e_l_e_c_t _A_l_l (all the objects in
  254.             the scene become selected).
  255.  
  256.  
  257.  
  258.  
  259.  
  260.  
  261.  
  262.  
  263.  
  264.  
  265.  
  266.  
  267.  
  268.                                   - 5 -
  269.  
  270.  
  271.  
  272.        4.2.5  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__S_p_l_a_t__V_i_s_u_a_l_i_z_e_r
  273.  
  274.           +o Spin animation can be enabled or disabled by setting
  275.             the X resource
  276.                 Splatviz*SoXtExaminerViewer.spinAnimation: on/off
  277.             to your .Xdefaults file.
  278.  
  279.           +o The textured splats are now MUCH faster.
  280.  
  281.        4.2.6  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__R_u_l_e__V_i_s_u_a_l_i_z_e_r
  282.  
  283.           +o Its possible to customize the axes in ruleviz.  A new
  284.             option has been added to the configuration file format.
  285.             The syntax is:
  286.                 item labels <leftLabel> <rightLabel>;
  287.             For example:
  288.                 item labels "LHS" "RHS";
  289.             produces the same as the default.  The examples file
  290.                 /usr/lib/MineSet/ruleviz/examples/category.ruleviz
  291.             uses it.
  292.  
  293.        4.2.7  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__D_a_t_a__M_o_v_e_r
  294.  
  295.           +o The Data Mover no longer uses Oracle-provided library,
  296.             libclnsh.so, to connect to Oracle databases.  Because
  297.             of this, there is no longer a need for a local Oracle
  298.             installation when MineSet is to access a remote Oracle
  299.             database.
  300.  
  301.           +o The Data Mover now reads and writes files in the
  302.             MineSet binary file format in addition to the ASCII
  303.             format.
  304.  
  305.           +o Filtering, i.e., allowing only records satisfying a
  306.             specified condition to pass, is now supported as
  307.             streaming operation.
  308.  
  309.           +o Random sampling of records is now supported as a
  310.             streaming operation.  This comes in two forms, one in
  311.             which the user specifies a desired resulting sample
  312.             size, and one in which the user specifies an
  313.             approximate percentage of records to include in the
  314.             sample (accept records with probability p).
  315.  
  316.           +o Data Mover has a now accumulates basic statistical
  317.             information on a data source.  The resulting data is
  318.             used to support the Statistics Visualizer.
  319.  
  320.        4.2.8  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__t_o__t_h_e__A_n_a_l_y_t_i_c_a_l__M_i_n_i_n_g__T_o_o_l_s
  321.  
  322.  
  323.  
  324.  
  325.  
  326.  
  327.  
  328.  
  329.  
  330.  
  331.  
  332.  
  333.  
  334.                                   - 6 -
  335.  
  336.  
  337.  
  338.           +o An Option Tree Inducer and Classifier have been added
  339.             to the set of inducers available under the Mining Tools
  340.             Classify tab.
  341.  
  342.           +o The classifiers and inducers have been extended to work
  343.             with record weights.
  344.  
  345.           +o The classifiers and inducers can now utilize a user
  346.             specified loss matrix that indicates the loss (or cost)
  347.             associated with various types of classification errors.
  348.  
  349.           +o Generating a learning curve has been added as a new
  350.             classifier mode.  A learning curve assesses how the
  351.             classifier's error rate is affected by the number of
  352.             training records.
  353.  
  354.           +o Accuracy estimation has been changed to error
  355.             estimation.  The _E_s_t_i_m_a_t_e _e_r_r_o_r _m_o_d_e now generates a
  356.             model from the whole dataset in addition to estimating
  357.             the error using cross validation.
  358.  
  359.           +o Decision Trees and Option Trees now show the estimated
  360.             error for every node, allowing users to better
  361.             understand where the model is more accurate and where
  362.             it is not.  This estimate is now mapped to color,
  363.             replacing the purity mapping used in MineSet 1.X.
  364.  
  365.           +o The inducers now generate classifiers that are capable
  366.             of estimating probabilities (scoring), not just
  367.             classifying records.  This option is available through
  368.             the apply-classifer transformation.
  369.  
  370.           +o Lift curves, showing the effectiveness of the
  371.             probability estimates, can be generated from _F_u_r_t_h_e_r
  372.             _i_n_d_u_c_e_r _o_p_t_i_o_n_s and under _A_p_p_l_y _C_l_a_s_s_i_f_i_e_r'_s _t_e_s_t
  373.             _c_l_a_s_s_i_f_i_e_r.  Lift curves show how effectively a
  374.             classifier can distinguish a specified label value from
  375.             all other label values.
  376.  
  377.           +o Confusion matrices, showing the specific types of
  378.             errors that the classifier makes, can be generated from
  379.             _F_u_r_t_h_e_r _i_n_d_u_c_e_r _o_p_t_i_o_n_s and under _A_p_p_l_y _C_l_a_s_s_i_f_i_e_r'_s
  380.             _t_e_s_t _c_l_a_s_s_i_f_i_e_r.
  381.  
  382.           +o It is now possible to backfit the test data into the
  383.             classifier after estimating the classifier's accuracy.
  384.             This mode is on by default and can be modified in
  385.             _F_u_r_t_h_e_r _i_n_d_u_c_e_r _o_p_t_i_o_n_s.  It allows users to see the
  386.             actual record counts/weights, rather than those that
  387.             only appeared in the training set.  Fitting the test
  388.             data into a classifier updates the probability
  389.  
  390.  
  391.  
  392.  
  393.  
  394.  
  395.  
  396.  
  397.  
  398.  
  399.  
  400.                                   - 7 -
  401.  
  402.  
  403.  
  404.             estimates without altering the structure of the
  405.             classifier.  Backfitting can reduce the error rate.
  406.  
  407.           +o The apply classifier options have been extended to
  408.             allow testing a classifier against a test set and
  409.             fitting new data to previously created classifiers.
  410.             Fitting new data can be useful if large amounts of data
  411.             are available: a model can be built using a sample and
  412.             the bigger dataset can be used to update the model
  413.             counts and probability estimates.
  414.  
  415.           +o The Laplace correction for the Evidence Inducer now
  416.             supports an automatic correction that has been
  417.             empirically determined to be more accurate in many
  418.             real-world datasets.
  419.  
  420.           +o The _A_u_t_o_m_a_t_i_c _c_o_l_u_m_n _s_e_l_e_c_t_i_o_n in the Evidence Inducer
  421.             now supports a faster "forward" mode.
  422.  
  423.           +o Uniform Weight has been added to the set of automatic
  424.             binning approaches.  Under uniform weight binning
  425.             thresholds are identified that partition the records
  426.             into subsets of equal weight.
  427.  
  428.           +o It is now possible to trim a specified percent of the
  429.             most extreme values prior to generating uniform range
  430.             or uniform weight bins.
  431.  
  432.           +o The binning panel now supports using the training set
  433.             only, weighted records, and automatic determination of
  434.             weight per bin.
  435.  
  436.           +o Automatic binning time (entropy-based) has been reduced
  437.             by a factor of about 15-20.  This dramatically reduces
  438.             the running time for the Evidence Inducer or when the
  439.             automatic binning is used in the binning panel.
  440.  
  441.           +o Reading time (initial loading of data passed by
  442.             datamove) has been reduced by about 20-25%.
  443.  
  444.           +o Classification models now require only the actual
  445.             attributes that are used in order to apply them to new
  446.             data.  Specifically, if a decision tree uses only three
  447.             attributes, only those will be required to apply it.
  448.  
  449.        4.3  _C_h_a_n_g_e_s__a_n_d__A_d_d_i_t_i_o_n_s__i_n__M_i_n_e_S_e_t__1_._2
  450.  
  451.           +o New capabilities allow MineSet visualizations to be
  452.             displayed over the web.  Mtr files allow MineSet
  453.             visualizations to be shipped over the web to other
  454.             machines running MineSet, while rview allow MineSet
  455.  
  456.  
  457.  
  458.  
  459.  
  460.  
  461.  
  462.  
  463.  
  464.  
  465.  
  466.                                   - 8 -
  467.  
  468.  
  469.  
  470.             applications to be run on the server and displayed over
  471.             the network to other machines running X11 and OpenGL,
  472.             regardless of whether they have MineSet installed.  For
  473.             more information, see the directory
  474.             /usr/lib/MineSet/www.
  475.  
  476.           +o Those tools that support the execute command have a
  477.             -warnexecute option which will issue a warning the
  478.             first time that they try to execute a user specified
  479.             command.  This can be turned on permanently by adding
  480.             the line
  481.                 *minesetWarnExecute:TRUE
  482.             to your .Xdefaults file.
  483.  
  484.  
  485.  
  486.  
  487.  
  488.  
  489.  
  490.  
  491.  
  492.  
  493.  
  494.  
  495.  
  496.  
  497.  
  498.  
  499.  
  500.  
  501.  
  502.  
  503.  
  504.  
  505.  
  506.  
  507.  
  508.  
  509.  
  510.  
  511.  
  512.  
  513.  
  514.  
  515.  
  516.  
  517.  
  518.  
  519.  
  520.  
  521.  
  522.  
  523.  
  524.  
  525.  
  526.  
  527.  
  528.  
  529.